神经表面重建旨在基于多视图图像重建准确的3D表面。基于神经量的先前方法主要训练完全隐式的模型，它们需要单个场景的数小时培训。最近的努力探讨了明确的体积表示，该表示通过记住可学习的素网格中的重要信息，从而大大加快了优化过程。但是，这些基于体素的方法通常在重建细粒几何形状方面遇到困难。通过实证研究，我们发现高质量的表面重建取决于两个关键因素：构建相干形状的能力和颜色几何依赖性的精确建模。特别是，后者是准确重建细节的关键。受这些发现的启发，我们开发了Voxurf，这是一种基于体素的方法，用于有效，准确的神经表面重建，该方法由两个阶段组成：1）利用可学习的特征网格来构建颜色场并获得连贯的粗糙形状，并且2）使用双色网络来完善详细的几何形状，可捕获精确的颜色几何依赖性。我们进一步引入了层次几何特征，以启用跨体素的信息共享。我们的实验表明，Voxurf同时达到了高效率和高质量。在DTU基准测试中，与最先进的方法相比，Voxurf获得了更高的重建质量，训练的加速度为20倍。
translated by 谷歌翻译
根据数据得出的模型的顺序/维度通常受观测值的数量或受监视系统（传感节点）的上下文的限制。对于结构系统（例如，民用或机械结构）尤其如此，这通常是高维本质上的。在物理知识的机器学习范围内，本文提出了一个框架（称为神经模态odes），以将基于物理学的建模与深度学习（尤其是神经通用差分方程 - 神经odes）整合在一起，以建模受监视和高的动态。 - 维工程系统。在这种启动探索中，我们将自己限制在线性或轻度非线性系统中。我们提出了一种结构，该体系结构将变异自动编码器的动态版本与物理信息的神经odes（Pi-神经odes）融合在一起。作为自动编码器的一部分，编码器从观测数据的前几个项目到潜在变量的初始值学习了抽象映射，从而驱动通过物理知识的神经odes学习嵌入式动力学，并施加\ textit {模态模型}该潜在空间的结构。所提出的模型的解码器采用了从应用于基于物理学模型的线性化部分的本征分析中得出的本征模：一种隐含携带自由度（DOFS）之间的空间关系的过程。该框架在数值示例中得到了验证，以及一个缩放的电缆固定桥的实验数据集，在该数据集中，学到的混合模型被证明胜过纯粹基于物理的建模方法。我们进一步显示了在虚拟传感的上下文中，即从空间稀疏数据中恢复了未衡量的DOF中的广义响应量。
translated by 谷歌翻译
时间序列数据的积累和标签的不存在使时间序列异常检测（AD）是自我监督的深度学习任务。基于单拟合的方法只能触及整个正态性的某些方面，不足以检测各种异常。其中，AD采用的对比度学习方法总是选择正常的负面对，这是反对AD任务的目的。现有的基于多促进的方法通常是两阶段的，首先应用了训练过程，其目标可能与AD不同，因此性能受到预训练的表示的限制。本文提出了一种深层对比的单级异常检测方法（COCA），该方法结合了对比度学习和一级分类的正态性假设。关键思想是将表示和重建表示形式视为无阴性对比度学习的积极对，我们将其命名为序列对比。然后，我们应用了由不变性和方差项组成的对比度损失函数，前者同时优化了这两个假设的损失，后者则防止了超晶体崩溃。在四个现实世界中的时间序列数据集上进行的广泛实验表明，所提出的方法的卓越性能达到了最新。该代码可在https://github.com/ruiking04/coca上公开获得。
translated by 谷歌翻译
基础模型正在成为主要的深度学习技术。由于模型参数和训练数据集的大规模，预处理基础模型始终耗时。除了计算密集型外，培训过程还非常密集和沟通密集。这些功能使得需要应用3D并行性，该平行性整合数据并行性，管道模型并行性和张量模型并行性，以实现高训练效率。为了实现这一目标，开发了一些自定义软件框架，例如Megatron-LM和DeepSpeed。但是，当前的3D平行框架仍然符合两个问题：i）它们对模型开发人员不透明，这些开发人员需要手动修改模型以并行化培训。 ii）它们对计算，GPU存储器和网络带宽的利用不足。我们提出了Merak，这是一个自动化的3D并行性深度学习培训框架，并具有高度资源利用。 Merak会自动使用自动模型分区仪部署，该分区仪在模型的代理表示上使用图形sharding算法。 Merak还提出了非侵入性的API，用于通过最小的代码修改来扩展基础模型培训。此外，我们在Merak设计了高性能的3D平行运行时引擎。它使用多种技术来利用可用的培训资源，包括移动的关键路径管道时间表，该计划带来了更高的计算利用率，阶段感知的重新计算，可利用空闲工作者的记忆以及子额定张量的模型并行性，这些模型并联与通信和计算重叠。 64 GPU的实验显示，Merak可以加快在最新的3D平行性框架上，具有1.5、2.5、8.3和20亿的模型框架，最高可达1.42x，1.39x，1.43x和1.61 x分别。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
在本文中，我们介绍了VCSL（视频复制段本地化），这是一种新的综合段级注释的视频复制数据集。与受视频级注释或小规模限制的现有复制检测数据集相比，VCSL不仅具有两个段级标签的数据级，其中有160k现实的视频副本对，其中包含超过280k的本地化copied seggment对，而且还包含超过280k涵盖各种视频类别和各种视频持续时间。每个收集的视频对中的所有复制段均经过手动提取，并伴随着精确注释的启动和结束时间戳。除了数据集外，我们还提出了一种新颖的评估协议，该协议可以更好地衡量视频对之间复制重叠段的预测准确性，并在不同情况下显示出改善的适应性。通过使用拟议的数据集和评估指标对几个基线和最先进的细分级视频副本检测方法进行基准测试，我们提供了一项全面的分析，可以揭示当前方法的优势和劣势作品。 VCSL数据集，公制和基准代码均在https://github.com/alipay/vcsl上公开获得。
translated by 谷歌翻译
深处神经网络（例如Deep-FSMN）已被广泛研究以用于关键字发现（KWS）应用。但是，这些网络的计算资源通常受到重大限制，因为它们通常在边缘设备上在通话中运行。在本文中，我们提出了BIFSMN，这是KWS的准确且极高的二元神经网络。我们首先为二进制化训练构建了高频增强蒸馏方案，该方案强调了全优先网络表示的高频信息，这对于对二进制网络的优化更为重要。然后，为了在运行时允许即时和自适应的准确性效率折衷，我们还提出了一个可稀薄的二进制架构，以从拓扑角度进一步解放二进制网络的加速潜力。此外，我们在ARMV8设备上为BIFSMN实施了快速的位计算内核，该内核充分利用了寄存器并增加了指令吞吐量以突破部署效率的极限。广泛的实验表明，BIFSMN通过说服各种数据集的利润率优于现有的二进制方法，甚至与全精度对应物相当（例如，语音命令v1-12下降少于3％）。我们强调的是，BIFSMN受益于稀薄的体系结构和优化的1位实现，可以在现实世界中的Edge硬件上实现令人印象深刻的22.3倍加速和15.5倍的存储空间。
translated by 谷歌翻译
由于可靠的3D空间信息，LIDAR传感器广泛用于自动驾驶。然而，LIDAR的数据稀疏，LIDAR的频率低于相机的频率。为了在空间和时间上生成密集点云，我们提出了第一个将来的伪激光框架预测网络。鉴于连续稀疏深度图和RGB图像，我们首先根据动态运动信息粗略地预测未来的密集深度图。为了消除光流量估计的误差，提出了帧间聚合模块，以使具有自适应权重的翘曲深度图熔断。然后，我们使用静态上下文信息优化预测的密集深度图。通过将预测的密集深度图转换为相应的3D点云，可以获得未来的伪激光镜帧。实验结果表明，我们的方法优于流行基准基准的现有解决方案。
translated by 谷歌翻译
2021-12-06
数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。
translated by 谷歌翻译
非政策评估（OPE）是用其他策略生成的数据评估目标策略。大多数以前的OPE方法都侧重于精确估计策略的真实绩效。我们观察到，在许多应用程序中，（1）OPE的最终目标是比较两个或多个候选策略并选择一个好的策略，这比精确评估其真实绩效要简单得多； （2）通常已经部署了多种政策来为现实世界中的用户提供服务，因此可以知道这些策略的真实绩效。受到这两个观察结果的启发，在这项工作中，我们研究了一个新问题，监督了政体排名（SOPR），该排名旨在通过利用现有绩效的非政策数据和策略来对基于监督学习的一组目标策略进行排名。我们提出了一种解决SOPR的方法，该方法通过最大程度地减少培训政策的排名损失而不是估算精确的政策绩效来学习政策评分模型。我们方法中的评分模型是一个基于层次变压器的模型，将一组状态行动对映射到一个分数，其中每对的状态来自非政策数据，而目标策略是在状态上采取的。以离线方式。公共数据集的广泛实验表明，我们的方法在等级相关性，遗憾价值和稳定性方面优于基线方法。我们的代码在GitHub公开获得。
translated by 谷歌翻译